In 1390 bestond op deze plaats al een versterkt kasteel met Engelbert de la Marck, heer van Loverval, als eigenaar. In 1440 kwam het in bezit van Gérard de Marbais. Het kasteel van Loverval bleef in deze familie tot 1609. Van 1670 tot het einde van het Ancien Régime waren Flaveaux van Henry de la Raudière de eigenaren.
Aan het begin van de 18de eeuw had het kasteel slechts twee loodrechte vleugels. In 1787 voltooide Louise-Martine de Flaveau de la Raudière, barones van Loverval en Ermeton-sur-Biert, het kasteel.
In de 19de eeuw komt het kasteel in handen van Werner de Mérode. De familie Mérode neemt een belangrijke plaats in de geschiedenis van Loverval, het leverde verschillende burgemeesters aan de gemeente.
In 1845 onderging het kasteel tal van veranderingen. Het wordt verhoogd en vergroot in baksteen en heeft een neoklassiek voorkomen. Aan het begin van de twintigste eeuw werden nog twee vierkante torens toegevoegd. In 1939 werd het verkocht aan de Zusters van Liefde van Gent die het zouden transformeren naar een school voor secundair onderwijs.